Ivory sinh tại Berkeley, California, con trai của Hallie Millicent (sinh tại Loney) và Edward Patrick Ivory, một người điều hành xưởng cưa.[3] Ông lớn lên ở Klamath Falls, Oregon.[4] Ông theo học Đại học Oregon, từ đó ông nhận được bằng về mỹ thuật vào năm 1951. Ivory là người nhận được Huân chương Lawrence, danh hiệu cao quý nhất của trường đại học Oregon dành cho sinh viên tốt nghiệp.

Sau đó, ông theo học trường Nghệ thuật Điện ảnh của Đại học Nam California, nơi ông làm đạo diễn cho bộ phim ngắn Four in the Morning (1953). Ông đã viết, chụp ảnh và sản xuất Venice: Theme and Variations, một bộ phim tài liệu dài nửa tiếng được gửi làm phim luận án để lấy bằng thạc sĩ điện ảnh.[5] Bộ phim được tờ New York Times đặt tên vào năm 1957 và là một trong mười bộ phim phi sân khấu hay nhất trong năm. Ông tốt nghiệp USC năm 1957.[6] [cần dẫn nguồn]